باشگاه خبرنگاران جوان؛ جواد فراهانی -  توسعه سریع هوش مصنوعی (AI) پس از گزارش‌هایی مبنی بر اینکه برخی از شبکه‌های عصبی ممکن است در زمینه‌های خاص اطلاعات نادرست یا گمراه‌کننده تولید کنند، جنجال جدیدی را برانگیخته و سوالاتی را در مورد قابلیت اطمینان آنها مطرح کرده است.

در پاسخ به درخواست‌ها برای گزارش در مورد پدیده‌های مورد علاقه کاربران، هوش مصنوعی در برخی موارد شروع به ارائه اطلاعات نادرست یا غیرقابل اعتماد فزاینده‌ای کرده است.

این امر به این واقعیت نسبت داده می‌شود که شبکه‌های عصبی منابع اطلاعاتی موجود در اینترنت را به طور انتقادی تأیید نمی‌کنند، بلکه به داده‌های منتشر شده خود متکی هستند که ممکن است حاوی محتوای نادرست یا گمراه‌کننده باشند.

در نتیجه، چندین مورد بحث‌برانگیز، به ویژه در روزنامه‌نگاری، ثبت شده است که در آن برخی از روزنامه‌نگاران بدون تأیید کافی به گزارش‌های تولید شده توسط هوش مصنوعی تکیه کرده‌اند. مشکلات مشابهی نیز در زمینه‌های دیگر، از جمله تحقیقات علمی، پدیدار شده است.

در تلاش برای رسیدگی به این موضوع، دانشمندان دانشگاه رشتنف در کراسنویارسک، سیبری شرقی، روشی را با هدف کاهش اطلاعات غیرقابل اعتماد یا ساختگی در پاسخ‌های مدل‌های هوشمند توسعه داده‌اند.

این روش‌شناسی به سیستم‌هایی موسوم به RAG (تولید بهبودیافته بازیابی) متکی است، که در آن یک پایگاه دانش از منابع با کیفیت بالا و قابل اعتماد ایجاد می‌شود که هوش مصنوعی سپس از آن برای تولید پاسخ‌ها استفاده می‌کند.

محققان توضیح دادند که این رویکرد احتمال تولید اطلاعات نادرست را به میزان قابل توجهی کاهش می‌دهد. با این حال، همچنان ممکن است به دلیل اشتباهات ورود داده‌ها، ناسازگاری‌های پرس‌وجو یا یک پایگاه دانش ناقص، خطا رخ دهد.

یک تیم تحقیقاتی به رهبری دانشیار آناستازیا پلیاکووا از گروه سیستم‌های هوشمند و اتوماسیون، مواردی را که پاسخ‌های هوش مصنوعی نادرستی نشان می‌دهند، تجزیه و تحلیل کرده و یک طبقه‌بندی‌کننده برای شناسایی آنها ایجاد کردند.

آنها همچنین دستورالعمل‌های آزمایش خودکاری ایجاد کردند که پرس‌وجو‌های آزمایشی ایجاد می‌کنند و پاسخ‌ها را با معیار‌های مرجع مقایسه می‌کنند و دقت را بر اساس معیار‌های شباهت معنایی ارزیابی می‌کنند.

بر اساس نتایج مراحل اولیه، محققان یک واحد نظارت بر زمان واقعی نمونه اولیه ایجاد کردند که پرس‌وجو‌ها و زمینه مکالمه را ثبت می‌کند، قابلیت اطمینان پاسخ‌ها را ارزیابی می‌کند و به هر مدل یک امتیاز اطمینان اختصاص می‌دهد. اگر سطح اطمینان کاهش یابد یا خطای احتمالی تشخیص داده شود، این واحد هشداری را به سرپرست ارسال می‌کند.

محققان خاطرنشان می‌کنند که این روش بسیار انعطاف‌پذیر است، زیرا می‌تواند در چت‌بات‌ها و سیستم‌های دولتی مبتنی بر هوش مصنوعی در زمینه‌های مختلف، از پزشکی گرفته تا حقوق و مذهب، اعمال شود.

منبع: روسیا الیوم